ToolChain-CRC: Conformal Risk Control for Agentic AI Under Retrieval and Tool-Use Drift
基于保形风险控制的工具与检索增强Agent轨迹级风险校准
🧭 Agent 轨迹风险控制·保形预测 ★ 深度解读
The University of Texas Rio Grande Valley · Florida International University
将Agent完整轨迹作为校准对象,控制检索与工具使用漂移下的上游风险,避免仅依赖最终答案的风险盲区。
📌 工作参考价值(4 点)
- 推荐链路的全轨迹风险校准:在电商搜索/推荐的多级漏斗(召回→粗排→精排→重排→生成文案)中,可借鉴轨迹风险评分思想,对每一步(如召回是否覆盖、精排是否过度依赖某些特征、生成式推荐是否支持证据)赋予风险分数,整体校准一个接受/干预阈值,而非仅校验最终排序的指标。
- 漂移检测与有效样本量监控:引入基于轨迹相似度的漂移分数和有效样本量,用于线上监测推荐系统输入分布、用户行为、商品池变化。当有效样本量过低或漂移分数变大时,可自动触发更保守的策略(如提高重排门槛、回退到规则兜底)。
- 随时报警与提前止损:利用超鞅构造的anytime alarm,在推荐请求处理途中(如召回结果异常、工具调用失败、生成置信度过低)即停止,避免浪费后续计算资源并防止上线高风险结果。
- 风险来源分解定位:将总风险分解为检索贡献、工具使用贡献、合成贡献等,对应推荐中召回不相关、模型偏差、融合失误等问题,帮助快速定位系统薄弱环节并指导改进。